近日，中西創新學院國際語言服務研究院助理教授方濤博士與來自澳門理工大學、葡萄牙雷利亞理工學院、葡萄牙科英布拉大學的學者，在人工智能領域的國際頂級期刊Expert Systems with Applications上發表了題爲“Reasoning or Not? A Comprehensive Evaluation of Reasoning LLMs for Dialogue Summarization“的學術論文。該研究首次“推理型大模型”與“Chat型大模型”在對話摘要任務上的性能差异進行了大規模系統性評估，並創新性地改進了LLM-as-a-Judge的自動化評估方法，爲全球大模型的技術演進與應用選型提供了關鍵性的實證依據。

該研究通過一個嚴謹的評估框架，在三大對話摘要任務範式及多語言多場景數據集上進行測試，發現當前推理模型的顯式推理過程非但未能提升摘要質量，反而常因冗長的推理特性與摘要所需的簡潔抽象要求相衝突，導致生成內容更長、忠實度更低、覆蓋度不足。研究還創新結合“LLM-as-a-Judge”自動評估與人工錯誤分析，揭示推理模型存在“結構低效”與邏輯事實錯誤等效率陷阱，爲大模型的技術發展提供了關鍵實證參考。

Expert Systems with Applications（簡稱ESWA）是愛思唯爾（Elsevier）旗下創刊于1989年的國際權威頂級期刊，收錄于SCIE、Scopus等重要數據庫，是中科院1區頂級期刊，IF=7.5，JCR Q1、CCF-C期刊。